챗GPT 출시 이후 기업들은 폭발적인 AI 수요에 대응하기 위해 대규모 GPU 클러스터를 섣불리 도입했습니다. 하지만 현재 기업들의 평균 GPU 활용률은 5%에 불과하며, 하드웨어 비용 문제로 인해 추론(Inference) 및 소유 비용(TCO) 역시 34%에서 41%로 급증했습니다. 단순한 장비 확보를 넘어, 스케줄링, 추론 효율성, 라우팅, 거버넌스 등 전반적인 인프라 운영 관리가 시급한 과제로 떠올랐습니다.
AI 기업들이 무한정 자금을 태워 서비스를 저렴하게 제공하던 시대가 저물며 'AI 컴퓨팅 대란(Compute Crunch)'이 본격화되고 있습니다. 이로 인해 깃허브와 오픈AI 등은 서비스 제한과 가격 인상을 단행했으며, 메모리와 SSD 등 관련 부품 가격 폭등, 전력 수급 문제 등으로 전방위적인 경제적 타격이 발생하고 있습니다. 과거 우버의 파괴적 할인 정책이 견디지 못하고 가격을 대폭 올렸듯, AI 산업 역시 적자 운영의 한계에 부딪혀 기업과 투자자들에게 막대한 자본 부담으로 작용할 전망입니다.
제한 없이 공개된 Firebase 브라우저 키가 악용되어 13시간 만에 54,000유로(약 7,800만 원)의 API 사용료가 청구된 사건이 발생했습니다. 구글은 지난 10년간 구글 API 키를 비밀 정보로 분류하지 않았으나, 젬미니(Gemini) API가 등장하며 이 보안 통념이 완전히 깨졌습니다. 따라서 개발자들은 이제 API 키를 비밀 키(Secret)와 동일하게 취급하여 강력한 접근 제어와 모니터링을 적용해야 합니다.